De oude kasteelsite werd al in 1080 vermeld en kwam in de 16de eeuw in het bezit van Filips van Montmorency. Op 14 januari 1654 verwierf grootbaljuw van Gent, Jean-Baptiste della Faille, de heerlijkheid Huise met kasteel in Lozer, bekend onder de naam t’Goed Uplosere. Meer dan 350 jaar is het Lozerkasteel onafgebroken in het bezit van de familie della Faille d’Huysse.
Het blokvormig kasteel verwierf zijn neoklassiek uitzicht tijdens verbouwingen in de 18de eeuw. Het kasteel werd voor de laatste keer aangepast na 1914 door architect Valentin Vaerwyck tot zijn huidig neo-Lodewijk XVI voorkomen. Het bosrijke kasteelpark is in 1885 aangelegd door tuinarchitect Friedrich Eduard Keilig.
Vandaag wordt het kasteel bewoond door de tiende generatie della Faille d’Huysse. Baron della Faille d’Huysse en zijn echtgenote barones Elisabeth du Bois de Vroylande runnen in de bijgebouwen van het Lozerkasteel een gezellige 4-sterren B&B en een vakantiewoning.